Augmented reality supported work instructions for onsite facility maintenance

During the operation and maintenance phase of buildings operators need to perform on site maintenance activities to prevent functional failures of technical equipment. As this phase is the longest and most expensive one respective improvements can significantly reduce the overall lifecycle budget. Based on their previous work, in this paper the authors present an Augmented Reality (AR) based concept and implementation to support mobile and onsite maintenance activities by (1) preparing and generating AR work order instructions based on Product Lifecycle Management (PLM) information, (2) using these to aid the actual onsite maintenance job using hybrid 3D tracking, and (3) creating enhanced and context-related maintenance service reports to be fed back to the PLM system. Preliminary results reveal the potential of the proposed solution, but also leave room for future improvements

Mixed Reality Assistenzsystem zur visuellen Qualitätsprüfung mit Hilfe digitaler Produktfertigungsinformationen

In der industriellen Fertigung unterliegen die Produkteigenschaften und -parameter, unabhängig vom eingesetzten Fertigungsverfahren, gewissen Streuungen. Im Rahmen der Qualitätsprüfung wird daher ermittelt, inwieweit die festgelegten Qualitätsanforderungen an das Produkt bzw. Werkstück trotz der Fertigungsstreuungen erfüllt werden (Brunner et al. 2011) [...] Insbesondere bei einer visuellen Prüfung durch den Menschen hängt das Ergebnis jedoch sehr stark vom jeweiligen Prüfwerker ab. Die wesentlichen Faktoren für die Erkennungsleistung sind Erfahrung, Qualifizierung und Ermüdung des Prüfers, Umgebungsbedingungen, wie Beleuchtung, Schmutz oder akustische Störfaktoren, aber auch die Anzahl und Gewichtung der zu bewertenden Merkmale (Keferstein et al. 2018). Infolge dessen kann die Zuverlässigkeit und Reproduzierbarkeit der Prüfergebnisse negativ beeinflusst werden. Gleiches gilt für die vollständige und konsistente Dokumentation der Sichtprüfung [...] Vor diesem Hintergrund wird ein Mixed Reality-basiertes Assistenzsystem entwickelt, welches den Prüfwerker bei der Durchführung und Dokumentation der visuellen Sichtprüfung unterstützen soll. Die Anforderungen dieses Ansatzes sind aus einem Kooperationsprojekt in der Automobilindustrie abgeleitet. Das dargestellte Assistenzsystem ist daher Teil von übergeordneten Aktivitäten im Zusammenhang mit 3D-Master und einer zeichnungsfreien Produktdokumentation. [...aus der Einleitung

Interaktive Initialisierung eines Echtzeit 3D-Trackings für Augmented Reality auf Smart Devices mit Tiefensensoren

Zusammenfassung Heutige Ansätze des 3D-Trackings für die Registrierung in der realen Welt zum Einsatz von Augmented Reality lassen sich in modellbasierte und umgebungsbasierte Verfahren unterteilen. Umgebungsbasierte Verfahren nutzen den SLAM-Algorithmus zur Erzeugung dreidimensionaler Punktwolken der Umgebung in Echtzeit. Modellbasierte Verfahren finden Ihren Ursprung im Canny edge detector und nutzen aus den CAD-Modellen abgeleitete Kantenmodelle. Wird das modellbasierte Verfahren über Kantendetektion und das umgebungsbasierte Verfahren über 3DPunktewolken kombiniert, ergibt sich ein robustes, hybrides 3D-Tracking. Die entsprechenden Algorithmen der verschiedenen Verfahren sind in heute verfügbaren AR-Frameworks bereits implementiert. Der vorliegende Betrag zeigt zwar, welche Effizienz das hybride 3D-Tracking aufweist, jedoch auch die Problematik der erforderlichen geometrischen Ähnlichkeit von idealem CAD-Modell, bzw. Kantenmodell, und realem Objekt. Bei unterschiedlichen Montagestufen an verschiedenen Montagestationen und mit wechselnden Anwendern ist beispielsweise eine erneute Initialisierung erforderlich. Somit bedingt das hybride 3D-Tracking zahlreiche Kantenmodell, die zuvor aus der jeweiligen Montagestufe abgeleitet werden müssen. Hinzu kommen geometrische Abweichungen durch die Fertigung, die je nach Größe der branchenspezifischen Toleranzen keine hinreichend hohe Übereinstimmung mit den abgeleiteten Kantenmodellen aus den idealen CAD-Modellen aufweisen. Die Autoren schlagen daher den Einsatz parametrisch aufgebauter Mastermodelle vor, welche durch eine interaktive Initialisierung geometrisch Instanziiert werden. Zum Einsatz kommt hier ein mobiler Tiefensensor für Smart Devices, welcher mit Hilfe des Anwenders eine Relation der realen geometrischen Merkmale mit den Idealen des CAD-Modells ermöglicht. Des Weiteren wird in dem dargestellten Konzept die Nutzung von speziellen Suchalgorithmen basierend auf geometrischen Ähnlichkeiten vorgeschlagen, sodass eine Registrierung und Instanziierung auch ohne hinterlegtes Mastermodell ermöglicht wird. Der Beitrag fokussiert sich bei der Validierung auf die interaktive Initialisierung anhand eines konkreten anwendungsnahen Beispiels, da die Initialisierung die Grundlage für die weitere Entwicklung des Gesamtkonzeptes darstellt

Performance Study on Natural Marker Detection for Augmented Reality Supported Facility Maintenance

The operation and maintenance phase is the longest and most expensive life-cycle period of building facilities. Operators need to perform activities to provide a comfortable living and working environment and to upkeep equipment to prevent functionality failures. For that purpose they manually browse, sort and select dispersed and unformatted facility information before actually going on the site. Although some software tools have been introduced, they still spent 50% of the on-site work on inspection target localization and navigation. To improve these manual, time consuming and tedious procedures, the authors previously presented a framework that uses BIM-based Augmented Reality (AR) to support facility maintenance tasks. The proposed workflow contains AR supported activities, namely AR-based indoor navigation and AR-based maintenance instructions. An inherent problem of AR is marker definition and detection. As introduced, indoor natural markers such as exit signs, fire extinguisher location signs, and appliances’ labels were identified to be suitable for both navigation and maintenance instructions. However, small markers, changing lighting conditions, low detection frame rates and accuracies might prevent the proposed approach from being practical. In this paper the performance of natural marker detection will be evaluated under different configurations, varying marker types, marker sizes, camera resolutions and lighting conditions. The detection performance will be measured using pre-defined metrics incorporating detection accuracy, tracking quality, frame rates, and robustness. The result will be a set of recommendations on what configurations are most suitable and practical within the given framework

Eingriff in die Privatsphäre der Endanwender durch Augmented Reality Anwendungen

Augmented Reality (AR) Anwendungen finden zunehmend den Weg auf Smartphones und Tablets und etablieren sich stetig weiter in unseren Alltag. Bislang waren spezielle Drittanbieter-Entwicklungsumgebungen (SDKs) wie Vuforia für die Entwicklung von AR Anwendungen notwendig, um die teils komplexe Erkennung von Objekten und Umgebungen für eine positionsgetreue Darstellung von Texten und virtuellen 3D-Modellen zu ermöglichen. Heutet bieten die Hersteller der mobilen Betriebssysteme eigene SDKs, wie z.B. Google mit ARCore für eine Reihe von Smartphones und Tablets auf Android-Basis, an. Apple kaufte 2015 die Firma metaio, welche bis dato eines der leistungsstärksten AR-SDKs angeboten hat. Seit 2017 ist das SDK vollständig in das Betriebssystem integriert und lässt sich von jedem Entwickler wie jede andere Standardfunktionalität des Betriebssystems nutzen [...] Ermöglicht wird die virtuelle Positionierung über die visuell-inertiale Odometrie (VIO), bei den markanten Punkten in jedem einzelnen Kamerabild des Videostreams der Smartphone Kamera verglichen und zusätzlich mit den detektierten Bewegungen über die integrierte Bewegungs-und Beschleunigungssensoren des Smartphones abgleichen werden. Durch dieses Verfahren lassen sich digitale, dreidimensionale Abbilder der Umgebung erzeugen, ohne spezielle Kameras mit Tiefensensoren oder Stereokameras nutzen zu müssen. Die Nutzung von AR erfreut sich unter den Anwendern immer größerer Beliebtheit. Dabei ist den Anwendern häufig nicht klar, dass die anfallenden Daten, welche durch die VIO generiert werde, auch Auswertungen ermöglichen, die einen erheblichen Eingriff in die Privatsphäre bedeuten. [... aus der Einleitung

Augmented Reality Assistenzsystem mit graphenbasierter Zustandsanalyse für Produkte im Internet der Dinge

Aus der Einführung "Durch die Vernetzung von Produkten im Internet der Dinge / Internet of Things (IoT) und die damit einhergehende Verfügbarkeit von Daten, können nicht nur Produkte selbstständig agieren, reagieren und Aktionen auslösen, sondern auch externe Empfänger die von ihnen gelieferten Daten auswerten und für zusätzliche Services nutzen (Eisenhauer 2007, Abramovici et al. 2014). Dies birgt unter Anderem enorme Potentiale bei der Instandhaltung von technischen Anlagen (Wohlgemut 2007). Diese Anlagen oder Produktionsstätten sind in aller Regel komplexe Systeme, die aus einer heterogenen Landschaft von Subsystemen bestehen. Ohne vorhergehende Kenntnisse einer Maschine ist die Analyse oder Überprüfung solcher Systeme schwierig bis unmöglich. Weiterhin stehen die technischen Dokumentationen und Wartungshistorien bei solchen Tätigkeiten häufig nicht vollständig oder nur in Papierform vor Ort zur Verfügung, während der aktuelle Status der Anlage nicht mit den vorhandenen Informationen überlagert werden kann. ...

Konzept zur internationalen Einführung vernetzter Virtual Obeya-Räume zur standortverteilten Produktentwicklung

Einleitung Die Entwicklung von Produkten erfolgt heutzutage vermehrt in interdisziplinären Teams. Dadurch können die Belange der beteiligten Abteilungen frühzeitig im Entwicklungsprozess berücksichtigt werden. Unter Leitung eines Projektmanagers können diese Teams weitgehend selbstständig agieren, wodurch Informations- und Entscheidungswege deutlich verkürzt werden können (Pahl et al. 2013). Neben der Interdisziplinarität zeichnen sich Entwicklungsteams ebenfalls dadurch aus, dass deren Mitglieder oftmals global verteilt arbeiten und in mehreren Projekten gleichzeitig eingesetzt werden. Um den Herausforderungen bei der standortübergreifenden Produktentwicklung zu begegnen, setzen beispielsweise große Automobilzulieferer auf das durch Informations- und Kommunikations-technologie gestützte Virtual Obeya-Konzept. Dieses Konzept basiert auf dem aus der schlanken Produktentwicklung bekannten Werkzeug "Obeya". Mit Hilfe moderner Technik können die wesentlichen Elemente traditioneller Obeya-Räume digitalisiert werden. Die Vernetzung der Virtual Obeya-Räume an verschiedenen Standorten ermöglicht es außerdem, dass die Akteure zeitgleich auf die zugrunde liegenden Informationen zugreifen können, sie manipulieren können und sich darüber austauschen können. Um die standortübergreifende Teamarbeit in der Produktentwicklung auch über große Distanzen hinweg nachhaltig zu unterstützen und zu fördern, ist daher die Errichtung solcher Räume an mehreren Standorten sowie deren organisatorische Integration im Unternehmen notwendig. Darüber hinaus muss der Akzeptanz bei den Anwendern des Konzepts große Beachtung geschenkt werden. Basierend auf den Erkenntnissen der Kooperation mit einem namhaften Automobilzulieferer wird in dem vorliegenden Beitrag ein allgemeingültiges Konzept vorgestellt, welches die erforderlichen Schritte und Maßnahmen zur internationalen Einführung von Virtual Obeya in anderen Unternehmen beschreibt

Ein Klassifizierungssystem für Industrielle Augmented Reality Anwendungen

Mit dem Fortschreiten der Digitalisierung in der Industrie findet sich Augmented Reality (AR) in immer mehr Einsatzbereichen. Dennoch bleibt die industrielle Verbreitung trotz sich stetig entwickelnder Technik hinter den Prognosen zurück. Es existieren bereits Arbeiten, die sich mit der Klassifizierung von AR jedoch mit Fokus auf die tatsächliche Implementierung bzw. Umsetzung der Anwendung beschäftigen. Um Anwendungsgebiete und damit die eigentliche Problemstellung, in denen AR einen Mehrwert bieten kann, besser vergleichen und Anforderungen für industrielle Bereiche ableiten zu können, stellt dieser Beitrag ein Klassifizierungssystem für diese Einsatzgebiete vor. Auf vorhergehenden Arbeiten aufbauend wird gezeigt, dass eine Klassifizierung der Einsatzszenarien auf Basis der drei Dimensionen zu unterstützende Aktion, Lebenszyklusphase und Grad der Hilfestellung erfolgen kann. Dazu wird eine systematische Literaturrecherche von industriellen AR Anwendungen und Studien der Jahre 2016 bis 2020 durchgeführt und nach dem vorgeschlagenen Schema klassifiziert. Neben den daraus gewonnen Erkenntnissen werden in den Beiträgen verwendete Technologien, wie die Darstellungstechnik, der Detailierungsgrad, der Reifegrad der Anwendung und die Art der Inhaltserstellung analysiert. Außerdem werden Probleme bei der Umsetzung sowie künftige Forschungsthemen und -schwerpunkte herausgearbeitet

The Contribution of Non-Thermalized Carriers to the Photocurrent at the InP:Zn/SnO2:F Heterocontact

Titel und Kurzzusammenfassung Inhaltsverzeichnis und Abbildungsverzeichnis 1\. Einleitung 1 2\. Grundlagen 5 2.1 Ladungsträgertransport - Boltzmann-Transport-Gleichung 5 2.2 Relaxation in III-V-Halbleitern 7 2.3 Rekombination in III-V-Halbleitern 16 2.4 Leitfähigkeit in InP:Zn 20 3 Experimentelle Techniken 25 3.1 Präparative Methoden 25 3.2 Präparation der InP:Zn/SnO2:F-Heterokontakte 29 3.3 Messtechniken 33 4 Experimentelle Ergebnisse 39 4.1 Untersuchung des Photostroms bei tiefen Temperaturen 39 4.2 Untersuchung der strahlenden Rekombination 48 4.3 Diskussion der experimentellen Ergebnisse 60 5 Ergebnisse der Monte-Carlo-Simulation 63 5.1 Modell der MC-Simulation 63 5.2 Photostromspektren in der MC-Simulation 67 5.3 Untersuchung der Dynamik 75 6 Photovoltaische Nutzung von heißen Ladungsträgern 91 6.1 Photovoltaische Effizienz mit thermalisierten Ladungsträgern 91 6.2 Der Solarkonverter von Ross 92 6.3 Energieverteilung an der Grenzfläche 93 7 Zusammenfassung und Ausblick 99 Anhang 103 A Monte-Carlo-Methode 103 B Berechnung der Streuintegrale 109 C Materialparameter von InP 113 Literaturverzeichnis 115 Danksagung 125In einem theoretischen Szenario wurde für eine Solarzelle ein Wirkungsgrad von über 60% vorhergesagt, wenn die heiß erzeugten Elektronen vor ihrer Energierelaxation mit einem energieselektiven Kontakt eingefangen werden könnten. Die bei diesem Szenario getroffene Annahme, dass photoerzeugte heiße Elektronen die Oberfläche eines Absorbermaterials mit großer Wahrscheinlichkeit erreichen, wurde in dieser Arbeit auf der Basis experimenteller Ergebnisse überprüft. Als Absorbermaterial wurde InP:Zn ausgewählt und als transparentes Kontaktmaterial SnO2. An diesem Heterokontakt wurde das Anregungsspektrum des Photostroms bei tiefen Temperaturen oberhalb von 10 K gemessen. Es weist bis etwa 95 K periodische Minima auf, die auf eine erhöhte Rekombinationswahrscheinlichkeit für Elektronen mit bestimmter kinetischer Anfangsenergie zurückzuführen sind. Unterhalb von 35 K entsteht das Minimum bei einer Photonenenergie, bei der das primär erzeugte heiße Elektron durch Emission von LO-Phononen (LO-Kaskade) genau das Leitungsbandminimum erreicht. Hier besteht eine erhöhte Rekombinationswahrscheinlichkeit. Oberhalb von 35 K ergibt sich eine Einsatzenergie für die LO-Kaskade, die bis zu 4,5 meV unterhalb des Leitungsbandminimums liegt. Der bei tiefen Temperaturen erhöhte Photostrom zwischen zwei Minima nimmt bei Erhöhung der Temperatur ab. Photolumineszenzspektren des InP:Zn-Absorbers und des InP:Zn/SnO2-Heterokontaktes zeigen verschiedene strahlende Rekombinationskanäle. Nach der Präparation des Heterokontakts treten zusätzliche Emissionen bei 1,361 eV, 1,335 eV und 1,29 eV Photonenenergie auf. Die zugehörigen Einfangzentren führen zu der Verschiebung der Einsatzenergie für die LO-Phonon-Kaskade mit steigender Temperatur. Unter Verwendung der Monte-Carlo-Methode wurde der Transport der heißen Elektronen unter Berücksichtigung der in Frage kommenden Streuprozesse simuliert. Damit wurde das Auftreten der Minima und die Temperaturabhängigkeit des Anregungsspektrums für den Photostrom qualitativ beschrieben. Die bei tiefen Temperaturen gemessene Erhöhung des Photostroms zwischen zwei Minima kann daraus der kürzeren Laufzeit von nicht-thermisch verteilten Elektronen bis zum Einfang am Kontakt zugeordnet werden. Die Extrapolation der Simulation auf Raumtemperatur ergibt eine nicht- thermische Energieverteilung der Elektronen beim Auftreffen auf den Heterokontakt. Die Simulation erfasst den Energiebereich vom Leitungsbandminimum bis 0,3 eV darüber. Bis zu 48% der in diesem Energieintervall erzeugte Elektronen tragen als heiße Elektronen zum Photostrom am Heterokontakt bei, wenn sie nur 10 nm entfernt vom Kontakt erzeugt werden. Weiter im Innern des InP-Absorbers erzeugte Elektronen erreichen den Heterokontakt mit einer zunehmend thermischen Energieverteilung.A theoretical scenario predicts an efficiency of above 60% for solar cells if the photo-generated hot electrons can be gathered via energy selective contacts before undergoing energy relaxation. The main assumption of this scenario, namely that these photo-generated hot electrons reach the surface of the absorber material with a relevant probability, was tested in this work using experimental results and Monte Carlo technique. P-type InP:Zn was used as absorber and covered with n-type transparent conducting oxide SnO2 as emitter. The photocurrent excitation spectra of this heterocontact were measured at low temperatures above 10 K. Below 95 K periodic dips appeared due to an enhanced recombination probability for electrons with a certain excitation energy. Below 35 K the minima appeared for such photon energies where the initially generated hot electron relaxed exactly down to the minimum of the conduction band via emission of one or more LO phonons (LO cascade). Here, a higher recombination probability prevailed. Above 35 K the extrapolation of the photon energies at the minima led to a threshold for this LO cascade lying in the bandgap down to 4.5 meV below the conduction band minimum. The enhanced photocurrent between two minima at low temperatures diminishes with rising temperatures. The photoluminescence spectra of the InP:Zn absorber and the InP:Zn/SnO2 heterocontact revealed different radiative recombination channels. After the preparation of the heterocontact additional emission lines were found at photon energies of 1.361 eV, 1.335 eV and 1.29 eV. The corresponding recombination centers caused the threshold energy of the LO phonon cascade to shift with increasing temperatures. A Monte Carlo simulation of hot electron dynamics that took all the relevant scattering processes for hot electrons and their respective temperature dependencies into account was developed. It qualitatively reproduced the energy and temperature dependency of the dips in the photocurrent excitation spectra. With this simulation the enhanced photocurrent between two minima could be explained as being due to the shorter collection time for non- thermally distributed electrons that reach the contact. The simulation was extrapolated to room temperature, which revealed a non- thermal energy for the electrons reaching the heterocontact. The simulation covered an energy range up to 0.3 eV above the conduction band minimum. As many as 48% of the electrons generated in this energy interval contributed to the photocurrent as hot electrons if they were generated as close as 10 nm to the contact. Electrons absorbed further in the bulk approached thermal energy distribution

Mixed Reality Assistenzsystem zur visuellen Qualitätsprüfung mit Hilfe digitaler Produktfertigungsinformationen

In der industriellen Fertigung unterliegen die Produkteigenschaften und -parameter, unabhängig vom eingesetzten Fertigungsverfahren, gewissen Streuungen. Im Rahmen der Qualitätsprüfung wird daher ermittelt, inwieweit die festgelegten Qualitätsanforderungen an das Produkt bzw. Werkstück trotz der Fertigungsstreuungen erfüllt werden (Brunner et al. 2011) [...] Insbesondere bei einer visuellen Prüfung durch den Menschen hängt das Ergebnis jedoch sehr stark vom jeweiligen Prüfwerker ab. Die wesentlichen Faktoren für die Erkennungsleistung sind Erfahrung, Qualifizierung und Ermüdung des Prüfers, Umgebungsbedingungen, wie Beleuchtung, Schmutz oder akustische Störfaktoren, aber auch die Anzahl und Gewichtung der zu bewertenden Merkmale (Keferstein et al. 2018). Infolge dessen kann die Zuverlässigkeit und Reproduzierbarkeit der Prüfergebnisse negativ beeinflusst werden. Gleiches gilt für die vollständige und konsistente Dokumentation der Sichtprüfung [...] Vor diesem Hintergrund wird ein Mixed Reality-basiertes Assistenzsystem entwickelt, welches den Prüfwerker bei der Durchführung und Dokumentation der visuellen Sichtprüfung unterstützen soll. Die Anforderungen dieses Ansatzes sind aus einem Kooperationsprojekt in der Automobilindustrie abgeleitet. Das dargestellte Assistenzsystem ist daher Teil von übergeordneten Aktivitäten im Zusammenhang mit 3D-Master und einer zeichnungsfreien Produktdokumentation. [...aus der Einleitung